兰德报告2万字：《评估结构化分析技术在情报界的价值》
结构化分析技术（SATS）是情报界(IC)近年来追求的严格分析技术的一个关键部分，但迄今为止，这些技术几乎没有得到系统的评估。该报告认为，对结构化分析的严格评估是必要的，尽管很困难；提出了结构化分析评估中应包括的具体问题；并提出了情报界可以考虑的几种方法，以确定结构化分析的实际价值。该报告还提供了一个试点研究，探讨如何通过对分析人员的结构性访谈和结构化分析试验性审查进行更大规模的评估--对一系列情报界产品的定性评估，以检查结构化分析的发生率和效用。
以下为该报告的主要内容：
美国情报界正大力强调使用结构化分析技术（SATS），以促进严格的分析，减少情报失败的风险，并使分析员的推理对消费者更加透明。
然而，到目前为止，情报界几乎没有努力去评估一般的结构化分析技术或特定的结构化分析技术是否提高了分析质量。
评估这些技术的一个主要的定性方法是定期深入审查情报界在各种主题上的工作，以确定结构化分析的使用频率，它们是否促进了情报界分析质量标准的实现，以及哪些具体的结构化分析是最有效的。
兰德公司对中央情报局（CIA）、国防情报局（DIA）和国家情报委员会（N情报界）出版物的有限样本进行的初步结构化分析审查发现，与其他分析相比，少数采用结构化分析的出版物涉及更多的潜在结果和影响，尽管具体技术背后的逻辑并不总是透明。
更全面的结构化分析审查，以及对分析员、管理人员和消费者的访谈，可以确定情报界机构如何有效地使用结构化分析，并汇编关于在情报分析中使用结构化分析的最佳做法和陷阱的经验教训。
此外，定量研究可以检查使用或不使用结构化分析技术与国家情报总监办公室（ODNI）的分析完整性和标准办公室以及各个机构衡量的分析产出质量的关联程度，而受控实验可以测试结构化分析技术在类似于情报界中普遍存在的条件下的使用。
引言
近年来，情报界已经大大增加了结构化分析的使用，以促进严格的分析，减少情报失败的风险，并使分析员的推理对消费者更加透明。
读者更加透明。然而，到目前为止，情报界几乎没有努力评估结构化分析技术对情报分析质量的影响。本报告概述了一个研究设计，系统地审查结构化分析技术在情报界范围内成品的使用情况，以评估其总体价值和特定结构化分析技术对解决各种类型情报问题的效用。在引入分析线审查的变体后，我们建议对不连续的情报界工作进行结构化分析审查，并对有限的情报界成品样本进行了试点项目。这个试点项目旨在说明更广泛的结构化分析审查如何得出关于结构化分析的整体价值、它们在情报界分析中的使用范围、特定结构化分析对特定问题集的适用性、结构化分析可能的缺点、它们使用的最佳实践以及对其他分析方法的需求。
什么是结构化分析技术，为什么分析师要使用它们？
结构化分析技术是组织和激发对情报问题的思考的方法。结构化分析技术的目的是使分析过程变得有意识和透明，从而减少在非结构化和直觉分析中未被质疑的众多认知偏见所造成的错误的概率。
根据美国政府的一份非保密的分析技术指南，结构化分析分为三大类。
诊断技术旨在使假设和逻辑论证更加透明；
逆向技术挑战当前的思维；
想象力思维技术鼓励新的观点、洞察力和替代方案。
在今天使用的许多结构化分析中，最常见的是
结构化头脑风暴--用于产生新想法和概念的小组讨论过程，通常用于启动对特别复杂或有争议问题的分析。
关键假设检查--一种系统的努力，明确并质疑指导分析人员对任何特定问题的证据和推理的假设。
竞争性假设分析（ACH）--确定一套完整的替代性假设，通过对证据的审查对每个假设进行系统的评估。通过审查适用于所有这些假设的证据和数据，对每个假设进行系统的评估，并通过关注倾向于否定较弱假设的信息，选择最具解释力或最适合的假设（或多个假设）。
指标--预先建立的一套可观察到的现象，定期审查，以帮助跟踪事件，发现新出现的趋势，并警告未预料到的变化。
结构化分析技术在情报界日益突出
在关于伊拉克大规模杀伤性武器的情报失败后的几年里，情报界增加了对结构化分析技术的使用。已故分析技术专家Jack Davis指出，CIA大力推广替代分析格式和结构化分析，包括系统生成和严格审查替代假设。美国海军陆战队情报部门与兰德公司合作，开发了一套28种结构化模型、方法和技术，将结构化分析应用于战术战场情况。国防工业局在全局范围内推动对分析员进行批判性思维和结构化分析培训，2014年国家情报战略呼吁情报界加强分析方法，挑战长期存在的假设，鼓励新视角。
分析技术专家指出，结构化分析的普及，部分原因是它们专门解决了与经常性情报失败相关的认知缺陷。
例如，各种结构化分析技术解决了思维偏差；"满足"（满足于第一个合理的假设）；需要更大的想象力，验证证据和来源的重要性，以及单点预测的不可靠。在成品中明确使用结构化分析技术可以使分析员的逻辑对想知道分析结论是如何达成的读者更加透明，允许读者使用不同的假设和信息来挑战这些结论。
结构化分析技术还可以利用由不同背景和观点的分析员组成的小组之间的合作优势。
关于结构化分析技术的未来研究
如前所述，这项试点研究只是为了说明对结构化分析技术进行更广泛的定性工作的可行性，而不是为了提供明确的结论。一个更广泛的研究可以涉及更大规模的结构化分析审查，重点是来自更多的情报界机构的更多样化的工作体例。
• 后续工作可以集中于一个或多个问题的情报生产，如美国关注的关键国家，新出现的恐怖组织，武器扩散的各个方面，或具有战略影响的经济问题。
• 更广泛的样本可以涵盖比本研究中使用的更长的时间，并且可以包括所有就所涉及的主题制作成品情报的情报界机构的工作。
• 扩展的样本也可以检查比我们试点研究中的长文件更广泛的产品，并试图确定基于结构化分析技术的分析在简报中的使用程度。
• 这种大规模的结构化分析审查将允许汇编数据，表明结构化分析在广泛的情报界生产中的使用程度以及最常使用的具体技术。
这些初步的努力并不是要对结构化分析的价值提供明确的结论，而是要说明情报界如何更系统地评估它们。
本报告共2万字已上传至情报学院知识星球
长按识别下方二维码加入星球
往期推荐